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Beschreibung 

£0001] Die vorliegendo Erfindung betnTIL ein Verfah- 
ren zur automatlschen Analyse von Mikroskopaufnah- 
men von biologischen Objektcn, insbesondere zur Ana- 
lyse von Fluoreszenzaufnahmen von Zelien. 
[0002] in der modemen biomedizinischen Forschung 
werden In zahlreichen Expcrimenten unter anderem 
Fluoreszenztechnlken zur Marklerung verwandt, um 
biologisch slgnrfikante Objekte unter dem Mikroskop 
Blchtbarzu machen. Bel den Objeklen kann es sich bel- 
spielswelae um ZGllen eines bestimmten Typs oder in 
Ginem bestimmten Zustand handeln. Durch Fortschritte 
in der Automation sotcher Experimetfte let gs in den letz- 
ten Jahren fur biomediziniscrte Labors moglich gewor- 
den, grofco Mengen derartiger bildgebender Experi- 
ments voHflUtomettech durchZUfOhren. 
[0003] Sowird in der DE 1S70934S C1 eine Fluores- 
zenZ-Mlkroskoptechnikbeechrieben.die dnenSatzvon 
n Blldam einer einzelnan Probe liefert, Indam die Probe 
mil Lymphozyten mft n verschledenen Fluorochrornmar- 
kem prapanertwurde. In Jedem Bildfluoneszleren ande- 
re Untorgruppen der Lymphozyten und enscheinen mil 
lauchtenden Abgrenzungen. Jeder Lymphozyt in der 
Probe hat in dem Satz von Bildern eeln spezifisches 
Fluoreszenzverhalten. Er fluorcsziert in einer Unter- 
gruppe von Blldern und ist in dem Rest das Bildersalzes 
nichtslchtbar. 

[0004] Um die Fluoreszcnzmuster aus dem Biider- 
satz zu extrahiaren, mussen zunachst die f luoreszieren- 
den Lymphozyten in den n Bltdem detaktiert werden. 
Die lluorDchrommarkterten Lymphozyten unterechei- 
densich htnsichtJIch Ihrer Anzahf, Lokation und Intensi- 
ty. Da so gro3e Mengen an Bildern und Bflddaten en- 
fallen, aus denen zuerst die I reformation en gelesen war- 
den mussen, um dlese dann biologisch zu Intarpret'te- 
ren. emstehl eln sog. "Ra3chenhate" In dar Auswertung 
dor Experiments. Eine BHdlnterpretation durch mensch- 
liche Angestellta 1st nicht durchfimroar. da sia zu zeit- 
aufwendig ist und ihre Ergebnlsse haufig unzuverlasslg 
sind. Die Ursache hlerfOr Megt in der etmQdenden visu- 
ellen Auswsrtungsarbeit, die mlt einem Konzentratlons- 
verluet schon nach kurzer Zelt elnhergeht. Zudem un- 
terschelden sich die zu detektlerenden Objekte hinsicht- 
lich ihrer Anzahl, Lokatlon und IntensltSt. Dahar 
schwanken Blldparameter wie Kontrast und Rauschen 
von Blld zu Bild. AuBerdem welsen die Objekte, wie z. 
B, Zellen in Gewebeproben erhebliche Variationen hln- 
Slchtlich ihrer Form und Gr68e auf. 
[0005] Es besteht so die Notwendigkeit von automa- 
tiachen Auswertungsverfahren, welche In sinem Bild die 
zu detektierenden Objekte lokatlsieren. 
[0006] Fruhere Arbeiten zur Automate io rung der Zell- 
detektion richten ihr Augenmerk im wesentltchen auf 
modeilbasierte Ansatze, Unter dlesen findet sich auch 
die Idee, eln geometrisches Modell auf ein Gradiente- 
nensemble anzupaseen (Mardia et al.. 199/, In: IEEE 
Transactions on Pattern Analysis and Machine Intelli- 



gence. 19: 1035-1042). Dazu zahll auch die Nutzung 
der Wellenpropagation (Hanahara und Hiyane. 1990. 
In: Machine Visiona and Applications, 3; 97-111) oder 
einer Hough-Transformation, um zirkulare Objekte zu 

s detektieren (Gerlg und Klein, 19B6, In: Proc, Int. Conf. 
on Pattern Recognition, 8: 49B-500). Diese AnsStto 
sind jedoch nachteiligerwelsG haufig sensitiv gegenuber 
Veranderungen der Form des Objekts und laesen sich 
von Laien nlcht ohne weiteres anpassen. Femer sind 

10 die Bilder autgrund heterogoner Beieuchtungsbedln- 
gungen nicht seiten verrauscht, und die Zelleh sind tciJ- 
weise verdeckt. was eine Detaktion durch Randgren- 
zenabtastung ungeeignet macht (Galbralth et al.; 1 991 , 
In: Cytometry. 12: 579-696). 

is [0007] Das Dokument US-A-S 287 272 offenbart om 
Vcrfahren zur automatischen Analyse von Mlkroskop- 
aufnahman von biologischen Objekten, wobei das Ver- 
fahren folgende Sehrltte umfaBst; 

20 - Aufnahme von einem Mikroskopbild einer Probe mil 
einer VielzaM Von biologischen Objekte n; 
Markierung der Position von Masseschwarpunkten 
einer Anzahl n der einzelnen In dam Mikroskopblld 
eikennbaren Objekte, wobel Jedem Markierten Ob- 

ss jekt ein deflnlerter Bildausschnrtr zugeordnet wlrd. 
der das markierte Objekt vollstandig umglbt; 

- Herstellung elnes Trainingssets mlt Blldausschn it- 
ten von Proben, deren charakteristischen Merkma- 
le und/oder Merkmalskombinationen bekannt slnd, 

so und ZUordnung jedes Bildausechnlttos zu einem 
Klassirikatlonswert zwischen 0 und 1 ; 

- aUlomatWche Ermittlung von Klaesmkationswerten 
von alien Bildausschnitten das aufgenommenen 
Mikroskopbiides mittels eines Vergletchs der Bild- 

3s daLen der Bildausschnitten des aufgenommenen 
Mikroskopbiides mlt den Merkmalen und/oder 
Markmalskombinatlonen der Bildauescnnltte des 
Trainingssets; und 

- Klasslflzlenjng der biologischen Objekte in dem 
46 aufgenommenen Mlkroskopbild durch Auswortung 

der ermitrelten Klassifikatlonswerte, wobei die er- 
mhtclten Klassifikatlonswarte mit einem vorgege- 
benen Schwellenwert verglichen werden. 

45 rpoOB] Es 1st dahar Aufgabe der vorllegenden Erfin- 
dung. eln Verfahren der elngangs genannten Art berett- 
zustellcn, welches eln ainfachea automatlsiertGs, 
schnelle3 und lelcht zu adaptierendes Detakiionsver- 
fahren von Zellen bereitstelrt. 

so [0009] Gelfist wird die3e AuJgabe durch ein Verfahren 
mlt den Merkmalen des Anspruchs 1 . 
[0010] Vortellhaftg Ausgestaltungen sind in den Un- 
teranspnjehen beschrieben. 

[0011] Die vorliegende Erfindung betrjfft ein Verfah- 
55 ren zur automatlschen Analyse von Mlkroskopaufnah- 
men von biotogieehen Objakten, insbeeondera zur Ana- 
lyse von Fluorcszenzaufnahmen von Zellen, wobei das 
Verfahren folgende Schritto umfaset; (a) Aufnahme von 
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minctestens zwel Mlkroskopbildam einef Probe mil einsr 
Violzahl von biologischen Objekten; (b) Au3wahi eines 
ersten Mlkroskopbildes und M&rkiomng der Position 
von Massesohwerpunkten elner Anzahl n dor einzelnan 
In dem ersten Mikroekopbild erkennbaren Objekta, wo- 
bei Jedem markierten ObjeW eln definierter erster Bllo- 
ausschnitt zugeordnet wird, der das marklerte ObjektJe- 
wcils vollstandlg umglbt und wobei Jedem ersten Blld- 
ausschnrtt mil einem markierten Objakt def Wert 1 zu- 
geordnet Wird Und die Anzahl n von derart markierten 
ersten B II dausschn Uteri eln positives Tralningsset er- 
gibt; (c) Auswahl und Markierung einer Anzahl m von 
zweiten Bildausschnitten, die zu den ersten BHdaus- 
echnrtten jeweils ein en vorDestimmten Mindestabstend 
einhalten. wobei die GroBe und Form eines zweiten 
Bildausschnitts der GroBe und Form des ersten Bildaus- 
schnitts entspricht und wobai jedem zweiten Biidaus- 
schnltt dar Wert 0 zugeordnet wird und die Anzahl m 
von darart markierten zweiten Bildaueschnltien ein ne- 
gatives Trainingsset argibt; (d) Ermlttlung charaklerlstl- 
scher Merkmale und/oder Merkmalskombinatlonen das 
posroVen und negatlven Trainingssets und Zuordnung 
zu einem Klassifikatlonswert zwischen 0 und 1, wobei 
der Klassifikationswert dan Grad der VVahrsehalntichkeit 
das Vorhandenselns elnas markierten Objakts repra- 
sentiert, und Spaicherung der ermitteltcn Merkmale 
unoYodar Merkmalskombinatlonen; (e) Automatlscha 
Ermrttelung von Klasslflkationswerten von alien Bild- 
punkten dee zweiten und jedes weiteren Mikroskopbil- 
des mittels cines Verglelchs dar Bilddaten des zweiten 
und jeden weiteren Mlkroskopbildes mit deh In Verfah* 
rensschritt (d) armtrtalten Merkmalen und/oder Merk- 
matekombinationen, wobei fQr Jedan Bildpunkl dee 
zweiten und jedes welters rt Mikroskopbildes der Klas- 
sifikationswert fQr ainen den Bildpunkt umgebenden 
BHdausfichnitt ermittelt wird und die GroBe und Form 
dieses Bildausschnitts der GroOa und Form des ersten 
Oder zweiten Bildausschnitts entspricht; und (f) Erken- 
nung der Position von biologischen Objekten in dem 
zweftsn odar jedem weiteren Mlkrostopbtld durch Aus- 
wertung der ermlttelten Klassrfikationswerte, wobei die 
ermittelten Klasslflkattonswerte mir einem vorgagebo- 
nen Schwellenwert vergllchen werden, der das Vorhart- 
denseln elnes blDlogischen Objekls reprasentiert. 
[001 2] Das crfindungsgemaBe Varfahran zur Detektl- 
on von biologischen Objekten wle beisplelswelse Zellen 
. in Mikroskopbildam^arbeitet mit Klasslflkatlonewerten, 
die Bildausschnitten feeler GroBe und Form elnen Wert 
zwischen 0 und 1 zuordnen und die wiedergeben, ob In 
diesem Bildausschnttt eln biologisches Objekt zu sehen 
1st (1) odar nicht (0). In einem Bild warden alle Zellen 
gafunden In dem alle Bildbaraiche einem Klaeslflkati- 
onswert zugeordnet warden. Durch eine alnfache auto- 
matteche Sucrte nach hohen Wertan (Schweltwertana- 
lyse) k6nnen so die Positioner derbiologischen Objekte 
automatiscfr lokallsiert werden und belsplelsweise iri ei- 
ner Date! gespeichert und weiterverarbeiiet warden. 
Das Bereltetellan solcher Klasslflkatlonswcrtc bzw. ei- 



nes antsprechenden rOassrfikators und deren elntache 
Adaption lm Falle von slgnifikanten Veranderungen der 
Mikroskopbilder durch Modtflkationen am Mikroekop, 
andora Proben. andere Fliioreszenzmarkeroder ande- 
5 ra Zelllypen wird durch die Verwendung des erflndungs- 
gemaBen Verfahrens. welches eln kunstitohes neurona- 
les Netz darstellt, ermoglicht. 

[0013] Das erfindungsgemaBe Verfahren detektleit 
blologische Objekte wis belspiclswelee Zellen in Mlkro- 
io skopbildem voiiautomatjsch, nachdem es von einem 
Benutzar trainiert wird. durch Vereorgung mit etner Men- 
ge von Zell-posttlvon Bildausachnitten. Die Handha- 
bung ist besonders bequem, da der Benutter zum Trai- 
nieren nur Zellen auf dem Bildschirm marklaren muss. 
15 was er In dersonstigen Labortatigkeit In Routine tut. Das 
System eignet elch Insofem 2ur schnellen Auswertung 
vlaler Mikroskopbildcr bezOgllch einer Lokallsiarung 
von Zellen. Das erfindungsgamaBe Verfahren ist auf 
Grund seiner Handhabbarkeit seh r einfach zu bedlenan 
20 und auszuf Ohran. Es eignet stch zur UnterstDtzung jeder 
Art empirischer Arbeit mh Mlkroskopblldern von btotogl- 
schen Objekten lm Hochschul- wle auch Industrlebe- 
reich, In walchem der Durchsatz an Proben groB ist und 
elne objektive und reproduzierbare Auswertung not- 
£5 wendlg ist. 

[0014] In elner vorteilhaften Ausgestaltung des erfln- 
dungsgema^an Verfahrens tet die Probe eine Gewebe- 
probe und das biologische Objekt cine Zelle. Es hat sich 
herausgestellt, da(3 das Verfahren insbesondere bei der 
90 automatischen Zelldetektton Vortelle gegenuber her- 
kommlichen bekannten Verfahren aufweist. 
[0015] In einer weiteren vorteilhaften Ausgeetaltung 
des erfindungsgemaGen Verfahrens werden die zu er- 
mrttelnden blologfechan Objekte vor der Aufnahme der 
as Mikroskopbildar mit einem Oder mahreren chemischen 
Markem markierL Dabel kann zwischen der Aufnahma 
dar alnzelnen MlkroskopblldorGin Bleich- oderWasch- 
vorgang durchgefOhrt werden. Die chemlschan Marker 
k6nnen Fluorochrommarker und die Mikroskopbnder 
4Q FJuoraszenzaufnahmen eeln, 

[0016] Beisplelswefsa warden Fluorochrommarker 
auf Lymphozytan benutzt, um das Vorhandensein von 
Proteinen In der Zelioberf lache von Lymphozyten zu er- 
mltteln. Jader Marker bindet an elne Untergruppe der 
4* Lymphozyten, dievonder Existenzdes entsprechenden 
Proteins In der Lymphozytenoberflachenmembran ab- 
tiangig 1st. Durch Fluoreszenzanregung treten die elch 
bindenden Lymphozyten mit hohen Inteneltaten aut. Ein 
entsprachendes Mlkroskopbild wird vor elner CCD-Ka- 
so mera aufgenommen. Danaoh wird der Marker mitlels 
Blelche von den Zellen entfernt und der Vorgang wird 
unter Verwendung eines anderen Markers wiederholt. 
In dem hier beschriebenen Ausfuhmngsbelspiel kann 
der das Markieren, dta Bilderzeugung und das Bleichen 
55 umfassende Vorgang mil bis zu netin Markom wieder- 
holt warden. Wahrend Jader Wiederholung blelben die 
Positlonen dor Lymphozyten unverandert, wodurch eln 
Matching oder Qbereinstlmmungsabglelch dar Positio- 
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nen zwischen dan verschledeneh Blldem erm6glichL 
wird, tn dlesem experlmentellen Setup werdan insbe- 
3ondere T-Lymphozyten anetysiert, d,e bei einem * ,,ni " 
schen Fall einer Sarkoldoss in da© Muskelgewebe eln- 
gewandert sind. Dla Lymphozytan sind mlt n=7 Markem 
prapariert worden und es wurden sleban Flubreszenz- 
aufnahmen gemacht, wobei verechledene Untergrup- 
pcn der Zellen durch Fluorcszenz In Erschelnung traten. 
Nach Abschluss aller n Schritte kann ein Satz von n Ml- 
kroskopbildern mttverschledenen Lyrnphozyten-Umer- 
gruppen ausgewertet werden. Die Auswertung der n Mi- 
kroskopbilder erfolgt mlt dem erflndungsgema3en Ver- 
fahren. 

[00171 Dabel 1st belspielsweise die Anzahl n der eln- 
zeinen In dem Verfahrensschritt b) markierten bloiogi- 
eohen Objekte, Insbesondere Zellen, grower Oder gleich 
50. FOrjcden markierten Pun kt wird dabei entachteden, 
ob dieser Punkt ein Zentrum einer Zelle 1st oder nicht. 
Da 3ich die belspielsweise lymphozylen wahrend einer 
lnvaslonssituation In organischem Fasarmaterlal befin- 
den, ist ihre Form nicht zirkular. eondern unregelmaBig 
langlteh, und wird als vorwlagend korwex bezeichnet. 
Zu r Klassif ikation der blologiachen Objekta wird eine be- 
aondcre Form elnes neuronalen Netzes, die sogenann* 
te "Local Linear Map" verwendet (LLM) (R'rtter, 1991 , In: 
Artlflcal Neural Networks, Elsevier Science Publishers 
B.V.). Der LLM-Klassifikaior wird durch einen Satz von 
Bildausschnitten trainiert, die Zellen enthatten. Zum 
Trainieren des LLM-Klasstfikalorswlrd gcmaS dem Ver- 
fahrensschritt b) ein 6ild aus dem Bildeneatz ausge- 
wa"h1t. Des weiteren werden z.B. mittels einer Compu- 
termaus eine Gruppe tluoreszierender Zellen maridert. 
Die Gruppe von N xN groBen Blldauaechriitten urn dlese 
Zellen herum argibtden Satz positiverTrainingsbelspie- 
le bzw. ein positives TraJningsset. Der erete Bildaus- 
schnitt istgemaQ einer vorteilhaflen Ausgastaltung des 
erfindungsgema(3en Verfahrens quadratisch ausgebil- 
det, wobel dia GraBe NxN bzw. die Seitenlange N des 
ersten Bildausschnltte mlndestens dem maximal en 
Durchmeseerderbiologischen Objekte im ersten Mlkro- 
skopblld entspricht 

[0018] Ein wetterer Satz von zweiten Bildausschnitten 
wird gemafl dem Verfahrensschrtlt c) vollautomatisch 
belieblg aus demsclben Btld ausgewahlt t wobei ein Mln- 
destabstand von belspielsweise 3-5 Pixeln zu den be- 
reits markierten ersten Bildausschnitten eingehalten 
wird. Dieser zweite Satz etellt den Satz negatfver Trai- 
nlngsbGispielaas8Chriine bzw. ein negatives Trainings- 
set dar. Die Anzahl m von zweiten Bildaussehnitten IsL 
gemaB einer vortallhaften Ausgestaltung des ertln- 
dungsgemSBen Verfahrens grfi0ar oder gleich 50, wo- 
bel die zweiten Bildausschnltte automalisch untar Be- 
rucksicritigung des MIndestabstands zu dan jeweiligen 
ersten Bildausschnitten definlert werden. 
[0019] In einem AusfDhrungsbeispiel wird fOr Jeden 
TrainlngsbalspieLausschnrtt ©In dm -dimemkmaler 
Markmalsvektor x berechnet. Der Satz der selektierten 
Bildausechnltte wird einer Prtneipal-Component-Arialy* 



se (PCA) urrterfcagen. Dies Ist eine bekannte Technik 
bei KlassifikaMonsaufgaben in der Computervlslon. Die 
grundlegende Idee der PCA iat. dass der hochdimen- 
siDnale Blfdausschnltt hierbel In oinen wesentlich gerin- 

s gerdlmensionalen {d,„ * ca. 6) Merkmalsraum abgebil- 
det wird. Dlese Merkmale ergeben sogenannte Ein- 
gangs-Merkmalsvektoren x. Die Merkmalsvektoren ha- 
ben elnen deutlteh gsringeren Datenumf ang als die Blld- 
ausschnitte selbst, Aus der Berechnung der Merkmals- 

10 vekioren fur die positlven und negatlven Eingangsbei- 
spiale erglbt slch daa Trainingsaet des (Eingang, Aus- 
gang)-Paares 



15 



r={(x a . y a )) a . 

[0020] Fur das positive Train ings3et wird y^ gleich 1 
geselzt, und gleich 0 fOr die negativan- 
[0021] Die LLM 1st gegeben durch 



30 



{w, in e R^. w™ 1 e R d DUl ; A, e R* ln x\ ul . I = i -D- 

[0022] Ein Tripel Vj = (w^, w, wl , A,) wird als Knoten 
25 bezeichnet. FQr ein Training der LLM wird ein Paar (x^ 
yj belieblg aus T selektlert. und die Lemregeln 



In - ,n ^a 



out out^-yf*^) A Aw m 



+ A l£ AW k n ' 



I Ix,,^ 



(1) 



(2) 



(3) 



warden ausgefOhrt. e ,n , G A c]0, 1[sind abstel- 

40 gende LemschrlttgroBen und K glh f Or ic = arg mln K {I Ix- 
w^l I], Daherislw k ln dernachsteNachbarzum Eingang 
x. Dies wird I * 1 0000 mal wiedettiott. 
[0023] Der trainierte LLM-Klassrfikator fQhrt eine Ab- 
blldungvon Fluoreezenzbildpunklen auf Klassifikations- 
45 oder Evideniwerte In (0;1) durch. Um den Klassifikati- 
onswertfOr beispielsweise eine fluoreszierende Zelle an 
elnem Bildpunkt zu berechnan, wird der Merkmalsvek- 
tor x fOr dessen Umgebunfleregion berechnet. Der 
LLM-Ausgang fQr den Eingangs x berechnet slch durch 

so 



wobei 



65 



y(x)-w k out +A k (x-w k ,n ) 



k=arg min K { I U - w K ,n l I}. 



(4) 
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[0024] In dam beschrlebenen AusfOhrungsbeisplel 
belragt die Anzahl der Knoten l=5 und die Blldaus- 
aChnrttgroBe ist N=15 Pixel. 

[0025] Urn alio biologischen Objekle, wle z.B. f lucres- 
zierenden Zellen in dem zweiten oder Jedem weiteren 
Blld des Bildersatzes zu detektleren, wird Jeder Bild- 
punkt durch (4) auf scinen Klasstfikationswerl abgebil- 
deL Die umgobende Blldraglon des Punktes wird an den 
Klassifikatorgegeben, derderen Klassifikationswertbc- 
rechnet. Durch Berechnung dcr Massif Ikatlonswerte fur 
J ©dan Punkt 1 in elnem Bild ent&teht eine sogenanrrte 
KlassiflKatlons* Oder Evidenzabbildung des Blldes. Re- 
gionen mit hohen Klassffikatlonswerten Oder Evldanzen 
weisen auf biologische Objekte wie z.B. fluoreszierende 
Zellen in dem korrespondierenden Fluoreszenzbild hin, 
Alle Punkte mit einem KlasslfikatJonswert gro&er als z. 
B. 0,5 und ohne growers Evidenzen in ihrer Nachbar- 
echaft bilden did Gruppe von Posltlonan biologischer 
Objekle wie fluoreszierendeZellen In dam Bild. Entspre- 
chend wird bei alien weiteren Mikroskopbildem das Bil- 
dersatzes vorgegangen. 

[0026] Dia automatische Ermlttalung von Klasslflkati- 
onswerten von alien Blldpunkten dee zwelten und jedes 
weiteren Mlkroskopbildes gemSB Verfahransschritt e) 
crfolgt gerrtaB elner vortellhaften Auegestaltung der Er- 
findung durch sin Scannen der Blldflache des zwelten 
und jades weiteren Mlkroskopbildes. 
[0027] In elner weiteren vortell flatten Ausgestartung 
des erflndungsgemaBen Verfahrens warden die durch 
die Verfahrensschrittea) bfef) ermittetten Objektposttio- 
nen in der Gesamtzahl der Mikroskopbilder vergllchen, 
so daft elch sine raumliche Lagebesiimmung und Ver- 
tailung der Einzelobjekte In dar Probe ergibt. 
[0028] So konnen beispielsweise Fluoreszenzmuster 
von Zellen ermittell werden. Dabai werden nach dem 
Vorgang der Zelldetektlbn in alien Bildern lokal korre- 
spondierende Fluoreszenzstellen in verschledenen Bil- 
dern gefunden, um Fluoreszenzen derselben Zelle au! 
Ihr Markorkombinatlonsmuetar abzu bilden. Diese Kor- 
respondenzanalyse beruht ausschiieBlich auf den Po- 
sitionen der Zallen in den Bildern und stellt elns schwie- 
rlge Aufgabe dar, da die ermlltelten Positionen ein und 
derselben Zelle in verschtedenen Bildcm nicht immer 
oxakt gleich sfnd, AuBerdem variiert die Anzahl fluores- 
zierender Zellen in den Bildern stark. Belde Aspekte ma- 
chan ein einfaches Matching auf der Grundlage ledlglich 
der detektierten Zellpositionen unmogtich. MIT dem er- 
flndungsgemaBen Verfahren werden darartige Proble- 
me vermleden, indem die Klassifikaflonswertebzw. Evi- 
denzen aller Bilderdee Satzes von Bildern ausgewertet 
werden. 

[0029] Indem die Klassffikalionswerte bzw. Eviden- 
zen allar n Bilder wie voranetehend baschrieben ermit- 
telt werden, ergeben elch n Klasaifikatione- bzw, Evl- 
denzwerte fur jeden Punkt. Dann wird fur Jeden Punkt 
der Maxtmalovidenzwert selektlert und an seinen Koor- 
dlnaten in elne neua Evidenzabbildung elngetragen. 
Dlase Abbildung wird die "Master Evidence Map" be- 



zeichnei, da jedes Wologische Objekt wie beisplelswei- 
se elne Zelle, das In wenigstens einem der Blldar auftrat, 
In dieser Abbildung durch elnen hohen Evldenzwert re- 
prasentiert wird. Durch Anwendung das Verfahrens- 

5 schrttts f) auf die "Master Evidence Map" ergeben sich 
alle Positionen der biologlechan Objekte. Dieses Set 
von M Zellpcsfflonen {(XpYj)] win* a's "Masterset- be- 
zeicrinet. AnschlieBend werden fQr jedas biologteche 
Objekt aus dem "MastGrset" die blnaren Fluoreezenz- 

10 wcrte Ml) gesammelt. fj von p, = (^0) f n «) wird auf 

1 geeetzt, wenn ein blolDgischee Objakt wle z.B. elne 
Zelle im j-ten Fluoreszonzbild des BOdersatzes In anger 
Nachbarschaft zu ihren Koordlnaten (x,,yi) detektiart 
wurde. Eine elnfache lokale Matchingprozedur zwh 

13 schen dem Mastorset und den Klassifikationswerten der 
fur alle Fluoreszenzbllder detektierten Positionen der 
biologischen Objekte bzw. Zellpositionen ergtbt die bl- 
naren Fluoreazenzmusler aller detektierter Objekte 
bzw. Zellen 1 . 

so [0030] Elne eifindungsgemaBe Verwendung des be- 
schriebenen neuen Varfahrens zur automatlschen Ana- 
lyse von MlkroskDpaufnahmen von biologischen Objak- 
ten 1st die automatislerte ZellklassiTikatlon von fluores- 
zlerenden Zellen. So wurde beisplelswelse ein Satz von 

25 sleben Fluoreazenzblldem gcmaB dem erflndungsge- 
maBen Verfahren aufgenommen. Die sleban verschle- 
denen Markerslnd cd2, cd3, cd4. cdS, cd11b, cd10 und 
cd26; dlese sind bei der Fluoreszenzmikroskople Obll- 
che Antikorper-Marker. Das Trainingsset aller Zellaus- 

so schnitte wurde von Hand selektiert, und zwar aus dem 
cd4-Bild. In Jedem Bild wurden fluoreszierende Zellen 
mil Milfe des LLM-KlassTflkators detektierL Mit Hllfe der 
Maximalbedingung der Ktassinkationewerta bzw. Evi- 
denzen, die von der LLM erreohnet wurden, wurde die 

as -Master Evidence Map" erzeugt. Von der "Master Evi- 
dence Map" wurden die Positionen von M = 550 fluores- 
zierenden Zellen extrahiert. SchlleBllch ergab der 
Schrttt des lokaten Match in gs die Markarkombinaltons- 
musterpj r j = 1 550. 

40 [0031] Zur Betrachtung der Vertellung der Marker- 
komblnatlonsmusterinnerhalb derGruppa von Lympho- 

zyten wurden deren binare Muster (f^O fytO) durch 

etna einfache Abbildung vom dualon System in das De- 
zimalsystem auf ein numerisches Label abgebildet. Die 

■as Hauflgkeitan der Muster wurden gezahn und in elnem 
Histogramm dargestellt (Hiatogramm von 2 7 = 128 Bal- 
ken). Dabel ergibt sich, dass nur 24 von 1 28 moglichen 
Mustern in der gesamten Gruppe von Lymphozyten ge- 
funden wurden. Es domlnleren drei Muster der Anzahl 

SO nach, (1000000) (= 1). (0010000) (-8) Uhd (1010000) 
(=9), Dies slnd Zellen, die slch nur an cd2 oder an cd4 
oder nur an beide banden. Die ubrigen Hauiigkelten lie- 
gen unter 30. 

[0032] Um el nan Eindnjck hinsichtllch der Koinzidenz 
5? elnes beetlmmten Markers im Vergtelch zu Qbricjblei- 
benden Markernzu erhalten, wurde fur jeden Marker ein 
korreepondlerondes Histogrammm bcrechnet. Ee wur- 
de die absolute Anzahl der Zellen, die mit dlesem aus- 
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gewahlten Marker fluoreszierten dargastellt. Es kopnto 
ermittelt werden, dass die absolute Anzahl fluoreszie- 
render Zellsn stark variiert- Am dominantesten sind die 
Marker cd2 und cd4. Lymphozylen. die mit dem Marker 
cd19fIuoreszenzmarkierteind.treten seiten auf und ko- 
inztdleren nur einmal mlt einem anderen Marker (Cd2). 
Dies bedeutet, dass dleser Marker nochgradig selektiv 
1st. Eine starke Kolnzidenz kann beispielewelse auch 
zwischen dan Paaren (cd2, cdB), (cd3, Cd8) und (cd2, 
cd3) baobacMet werden- 

[0033] in dem beschriebenen Ausfuhrungsbelspiel 
WUrden Mlkroskopbilder von einem einzlgen visuellen 
Feld aufgczeichnet und anaiysiert. 1st elne groBe An- 
zahl mehrerer hundart visueller Bllder gegeben, dann 
ist es mlt dem orflndungsgemaPen Verfahren moglichj 
Innerhalb einer relatlv kurzen ZeiV elne prazise stau'stl- 
sche Analyse darjanigen Immunzellen-Untergrijppen, 
welche die Steilen im Gewebe penelriert haben, vorzu- 
legen- 



PatontansprCjche 

1. Verfahren zur automaTJschen Analyso von Mlkro- 
ekopaufnahmen von biologlschen Objekten, insbe- 
sondsre zur Analyse von Fluoraszenzaufnahmen 
von Zellen. wobel 

das Verfahren folgende Schrltte umfasst: 

a) Aufnahme von mindestens zwel Mlkroskop- 
blidem alnar Probe mil einer Vletzah! von bio- 
logischen Objekten; 

b) Auswahl elnss ersten Mikroskopblldes und 
Markierung der Position von Masseschwer- 
punkten einer Anzahl n der einzelnen in dem 
ersten Mikroskopbild erkennbaren Objekte, 
wobel Jodem markierten Objekt eln deflnlertar 
aratsr BHdausschnltt zugeordnat wird, der das 
markierte Objekt Jewells vollstandig umglbtund 
wobel |edem ersten Bildausschriltt mlt einem 
markienen Objekt der Wert 1 zugeordnat wird 
und die Anzahl n von derart markierten ersten 
Bildau&schnltten eln positives Trainingseet er- 
glbt; 

c) AuswahE und Maddening einer Anzahl m von 
zweiten Bildausschnitten, die zu den ersten 
Bildausschnitten jeweils einen vorbestimrnten 
Mindastabstand einhaJten, wobel die GroBe 
und Form eines zweiten Bildausschnftts dar 
GroBe und Form des ersten BHdausschnitts 
ontspricht und wobel Jedem zweiten Bildaus- 
schnitt der Wart 0 zugeordnet wird und die An- 
zahl m von derart markierten zwoltan Bildaus- 
schnitten ein negatives Train ingsset ergibt; 

d) Ermlttelung charakteristischer Merkmale 
und/oder Merkmalskonnblnaiionen des positi- 
ve n und negativen Trainlngssets und Zuond- 
riung zu einem Klasstflkationswert zwlschen 0 



und 1, wobei der Klacsifikationswert den Grad 
der Wahrecheinllchkert des Vorhandenseins ei- 
nes markierten ObjeMs reprasentiert und Spei^ 
cherung der ermittelten Merkmale und/oder 
s Merkmalskomblnationen; 

e) Automatlscha ErmKrtelung von Klassifikati- 
onswerten von alien Blldpunkten des zweiten 
undjedes weiteren Mikroskopblldes mlttels ei- 
nes Vergieichs der Bilddaten des zweiten und 

10 Jedon weiteren MikroskopbUdas mit den in Ver- 

fahrensschrttt d) ermittelten Merkmalen und/ 
Oder Merkmalskomblnationen, wobel fur jeden 
Blldpunkt des zweiten und jedes weiteren Mi- 
kroskopblldes der KJassifikatlonswert fur elnen 

rs den BiWpunkl umgebenden BHdausschnltt er- 

mittelt Wird und die GroBe und Form dieses 
Bildausschnftts der GroBe und Form das ersten 
oder zweiten BHdausschnitts entspricht; und 

f) Erkennung der Position von biologlschen Ob- 
20 jekten in dem zweiten oder Jedem weiteren Mi- 
kroskopbild durch Auswertung der ermittelten 
Klassifikationswerte. wobei die ermittelten 
KlassffiKationswerte mit einem vorgegebenan 
Schwellenwert varglichen werden. der das Vor- 
handensein elnes biotogischen Objekts repra- 
sentiert, 

2. Verfahren nach Anspruch 1 , 
dadurch gekennzelchnet, 

30 daQ die Probe ainc Gewebeprobe und das btologi- 
sche Objekt cine Zelle ist. 

3. Verfahren nach Anspruch 1 oder 2. 
dadurch gekennzeichnet, 

35 dafi die zu ermittelnden biologischen Objekte vor 
der Aufnahme der Mikroskopbilder mlt einem oder 
mehreren ohemlschen Markem marklert warden. 

4. Verfahren nach Anspruch 3. 
40 dadurch gekennzeteh net, 

daO die zu ermrttcrten Objekte vor der Aufnahma 
der Mikroskopbilder mlt mehreren chemischen 
Markem markiert werden, wobsi zwischen der AuT- 
nahme der einzelnen Mikroskopbilder eln Blelch- 
43 oder Waschvorgang durchgefClhrt wird. 

5. Verfahren nach Anspruch 3 oder 4, 
dadurch gokennzetchnet, 
dafi die chemischen Marker Fluorochrorrimarker 
und die Mikroskopbilder Fluoreszenzaufnahmen 
slnd. 

6. Verfahren nach einem dervorhergehanden AnsprQ- 
che, 

dadurch gekennzelchnet, 

dafi die MikrosKopbllder minds einer CGD-Kamera 
aufgenommcn und digltallslert werdon. 
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7. Verfahren nach efnem der vorhergehenden Anspru- 
che, 

dadurch gekenrreeichnet, 
daB die Anzahl n der einzelnen In dam Verfahrens- 
fichritt b) marklerten b'tologlschen Objekte grbBer 
oder glelch 50 ist 

& Verfahren nHch elnem dor vorhergehenden Anspru- 
che, 

dadurch gekennzelehnet, 

dsO der erste Bildausschnttt quadratisch eusgebil- 
* dot 1st, wobei die Grdfte bzw. die Seitenlange des 
erste n Bildausschnltts min deafens dem maximal en 
Durchmesser der biologischen Objekte im eraten 
Mikroskopbiid entspricht. 

9. Verfahren nach elnam der vorhergehenden Anspru- 
che, 

dadurch gekennzeichnet, 

daB die Anzahl m von zwaften Bildausschhttten gro- 
wer Oder gleich 50 ist, wobei die zweiten Bildaus- 
schnitte automatlsch urrtar BerGcksichtigung des 
Mtndeetabstands zu den jeweiligen ersten Blldaus- 
sehnltten definiert werden. 

10. Verfahren nach elnam dcrvorhergeherwien AnsprO- 
ehe, 

dadurch gekennzelehnet, 

da3 die automatische Ermatelung von Klasslflkatl- 
onswerten von alien Blldpunkten des zweiten und 
Jedes weiteren Mlkroskoppildes gemaB Verfahrens- 
schritt e) durch Bin Scannen der Bildflflche das 
zweiten und jedes weileren Mlkroskopbildcs er- 
lolgt. 

'11, Verfahren nach einem der vorhergehen den Anspru- 
che, 

dadurch gekennzelehnet, 
daB der Schwellenwert des Klassifikationswerts, 
der das Vorhandensein eines biologischen Objckts 
reprasentiert, mindeetens 0,5 betragt. 

12. Verfahren nach elnem der vorhergehenden AnsprO- 
che, 

dadurch gekennzeichnet, 

daB die durch die Verfahrensschritte a) bis 0 ermlt- 
telten Objektpasftionen in der Gesamtzahl der Mi- 
kroskopbilder verglichen werden, so daB sich eine 
raumltcrie Lagebestimmung und Verteilung der Ein- 
zelobjekte in der Probe ergibt. 

13. Verwendung eines Verfahrens gemaB dem Ah- 
spruch 1 zur autcmatisierten ZeliWasslflkatlDn von 
fluoreszlerenden Zellen. 



Claims 



1. 



15 



25 



35 



40 



A method for the automatic analysis of microscope 
images of biological objects, In particular for the 
analysis ol fluorescence images of cells, compris- 
ing the following steps: 

a) taking at least two microscope Images of a 
sample Including a plurality of biological ob- 
jects; 

b) selecting a first microscope Image and mark- 
ing the positions) of mass gravity centers of a 
number n of the individual objects discernible 
in the first microscope Image, in which step 
each marked object is assigned a defined first 
image excerpt which completely surrounds the 
marked object, and each first image excerpt in- 
cluding a marked object is assigned the value 
1 , with the number n of such marked first image 
excerpts constituting a positive training set: 

c) selecting and marking a number m of second 
image excerpts each spaced a predetermined 
minimum distance from said first image ex- 
cerpts, with a second Image excerpt corre- 
sponding in size and shape to said first Image 
excerpt, In which step each second Image ex- 
cerpt is assigned the value 0, with the number 
m of such marked second Image excerpts con- 
stituting a negative training set; 

d) determine characteristic features anoVor fea- 
ture combinations of the positive and negative 
training sets and assigning said characteristic 
features end/or feature combinations to a clas- 
sification value between 0 and 1 , said classifi- 
cation value representing the degree of proba- 
bility of the presence or a marked object, and 
the determined features and/or feature combi- 
nations arc stored; 

e) determine classification values or all Image 
points of the second and each further micro- 
scope image by comparing the image data of 
the second and each further microscope Image 
with the features and/or feature combinations 
determined in procedural step d), In which step, 
for each Image point of the 6eeond and each 
further microscope Image, the classification 
value for an Image excerpt surrounding the im- 
age point is determined and the size and shape 
of this image excerpt corresponds to the size 
and shape of the first or second image excerpt; 
and 

f) recognizing the position(s) of biological ob- 
jects In the second or each further microscope 
Image by evaluating the determined classifica- 
tion values, in which step the determined clas- 
sification values are compared wtth a given 
threshold value representing the presence of a 
biological object. 
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!. The method as claimed in claim 1 wherein the sam- 
ple is a tissue sample and the biological object is a 
cell. 

I. The method as claimed In claims 1 or 2 wherein the 
biological objects to be determined are marked with 
one or plural chemical markera before the micro- 
scope images are taken. 

i. The method as claimed In claim 3 wherein the ob- 
jects to be determined are marked with one or plural 
chemical marKers before the microscope Images 
are taken, with a bleaching or rinsing procedure be- 
ing performed between the taking of the individual 
microscope images. 

5. The method as claimed In claims 3 or 4 wherein said 
chemical markers are fluorochrome markers and 
the microscope Images are fluorescence images. 

6. The method as claimed in claim 1 wherein the mi- 
croscope Images are taken by a CCD camera and 
then digitized. 

7. The method as claimed In claim 1 wherein the 
number n of the individual biological objects marked 
in procedural step b) Is larger than or equal to 50. 

8. The method as claimed in claim 1 wherein the first 
image excerpt is of square shape, with the size and/ 
or side length of the first Image excerpt correspond- 
ing at least to the maximum diameter of the biolog- 
ical objects In the first microscope Image. 

9. The method as claimed in claim 1 wherein the 
number m of second image excorpta is larger than 
or equal to 50, with the second image excerpts be- 
ing defined automatically, keeping to the minimum 
distance from the respective first image excerpts. 

1G. The method as claimed in claim 1 wherein classifi- 
cation values of all image points of the second and 
each further microscope image are automatically 
determined according to procedural step e) by 
scanning the image surface of the second and each 
further microscope Image. 

11. The method as claimed in claim 1 wherein the 
threshold value of the classification value repre- 
senting the presence of a biological object Is at least 

0.5. 

12. The method as claimed In claim 1 wherein the ob- 
ject positions determined by procedural steps a) to 
f) are compared In the total number of microscope 
Images so as to obtain a spatial location and dtetri- 
bution of the individual objects in the sample. 



13, Use of a method as claimed in claim 1 for the auto- 
matic ceil classificBdon of fluorescent cells. 



5 Revendleatione 

1 . Precede cTanalyse automafique d l imafles prises au 
microscope d'objets biologlqucs, destine notam- 
ment a ranalyse d'images a fluorescence de celiu- 
w tes, le precede comportant lea Stapes sulvantes: 

a) Prise d'au moins deux Images au microsco- 
pe d'un echantlllon comportant une multitude 
d'obiets biologlques; 

1$ 

b) selection d'une premiere image prise au mi- 
croscope et marquage de la position des cen- 
tres de gravfte de masse d'un n ombre n des dit- 
ferenls objets reconnalssables sur la premiere 

20 image prise au microscope, a chacun des ob- 

jets marques etant artecte un premier extrait 
d'image defini qui entoure completemant I'objet 
marque et a cheque premier extrait d'image 
comportant un objet marque etant attrlbua la 
valeur 1 , et le nornbre n des premiers extralts 
d'image marques de la sorte donnant un kit 
d'entraTnement posltlf; 



39 



40 



c) selection et marquage d'un nombre n de 
deuxlemes extratts d'image respectant une dis- 
tance minimal© predeterminee par rapport aux 
premiers cxtraite d'image, la taille et la forme 
d'un deuxieme extrait d'image correspondent a 
la taille et la forms du premier extrait d'image 
et a chacun dee deuxtemes extralts d'image 
fitanl altribue la valeur 0, et le nombre m des 
dfluxiemes extratts d'image marques de la sor- 
te donnant un kit d'entraTnement negattf; 

d) determination das. caractertetlques etfou 
des combinalsons de, caracterlstiqucs des kits 
d'entraTnement positif et negatif et attribution 
crune valeur de classification comprise antra 0 
et 1 , la valeur de classification reprSsentant le 
degre de probabilite de presence d'un objet 
marque, et memorisation des, caracteristiques 
et/ou comblnaisons de. caracteristiques deter- 
miners; 

©) determination automalique do valeurs de 
classification do la totallte das pixels de la 
deuxieme et de chaque Image supplemental 
prise au microscope parcomparalson des don- 
nees-image de la deuxieme et de chaque ima- 
ge suppiemenxalre prise au microscope avec 
lee, caracteristiques ct/ou lee comblnaisons 
de, caracteristiques determinees lore de l'6tape 
du precede d), pour chaque pbcel de la deuxle- 
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me et de chaque autre image prise au micros- 
cope, la valeur de classification etanl determi- 
nes pour un extrait d'image entourant lc pixel. 
Igs taille at forme dudil extrail tfimage corres- 
pondent aux taille el forme du premier au du 
deuxieme extrait d'image; et 

f) detection de la position d'ab]ets biologlques 
sur la deuxieme ou chaque autre image prise 
au microscope par depoulHement des valeurs 
de elassfficatlon determines, les valeurs de 
classification etantoomparees a un seull donne 
representant la presence d'un objet blologique. 

2. Procede selon la revendication <\ , caracterlse en 
ce que I'echarrtlllon esl un prelevement tissulaire et 
robjetbiologlqua une cellule. 

3. Procede salon la revendication 1 ou 2, caracteriae 
en ce que lee objots biclogiques a determiner sont 
marques a I'aide rfun ou de plusieurs marqueurs 
chimiques prealeblement a la prise des images au 
microscope. 

4. Procede colon la revendication 3, caracterlse en 
ce que prealablement a la prise des images au mi- 
croscope, les objets a determiner 3ont marquee a 
raid© de plusieurs marqueurs chimiques, une ope- 
ration dc blanchimertt et do lavage ayant lieu entre 
la prise des differentes images au microscope. so 

b. Precede selon la revendication 3 ou 4, esractfirlse 
en ce que les marqueurs chimiques sont des mar- 
queurs fluorochromes et les Images prises au ml* 
croscope des images a nuorescence. 35 

6. Procede selon Tune des revendications preceden- 
tes, caracterlse en ce que les images au micros- 
cope sont prises et numerlsaes a I'aide d'un© ca- 
mera CCD. 40 

7. Procede selon I'une des revendications preceden- 
tes, caracterise en ce que Le nombro n des diffeV- 
rems objets blologiques marques lore de I'etape du 
procede b) est superieur ou egal a 50. 43 

8. Procede selon I'une des revendications preceden- 
tes, ceracterUe en ce que le premier extrait dama- 
ge a una 1orme quadratlquo, la lailta ou la longueur 
laterale du premier extrait d'image correspondant so 
au mcins au diametre maximal des objets blologi- 
ques presents sur la premiere Image prise au mi- 
croscope. 



maniere automatlque en tenant compte de la dis- 
tance minimale par rapport aux premiers extralts 
tfimage. 

Procede selon I'une des revendications preceden- 
tes, caracterlse en ce que la determination auto- 
matlque des valeurs de classification de tous les 
pixels de la deuxieme et de chaque Image suppie- 
mentalre prise au microscope intervicrrt selon reta- 
pe du procede e) a ('aide tfun scanning da la surfa- 
ce ef image de la deuxieme et dc chaque image sup- 
plementaire prise au microscope. 

. Procede selon I'une des revendications preceden- 
tes, caracterise en ce que Is seull do la valeur de 
classification representant la presence cTun objet 
biologlque est de 0,5 au minimum. 

Proeede selon I'une des revendicalions preceden- 
tes. carecteris* en ce que les positions oTobJet de- 
terrnlnees lore des etapes du procede a) a f) sont 
comparers sur le n ombre total des Images prises 
au microscope de manlero a determiner une posi- 
tion dans I'espace et une repartition des objets in- 
dlvi duels presents dans Vechantillon. 

13. utilisation d'un precede selon la revendication 1 
pour la classification automatlsee dee cellules fluo- 
rescentes. 
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Procede selon I'une des rGvendlcations preceden- 
tes, caracterlee en ce que le nombre m des 
deuxlemes extraits d'image est euperieurou egal a 
50. les deuxiemes extraits d'image etant deflnls dc 



55 
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